﻿ TEORIA INFORMAŢIEI ŞI A CODĂRII Culegere de probleme Vol 1 Horia BALTA Maria KOVACI Radu LUCACIU 2009 Cuprins Cap 1 Probabilităţi Informaţia 1 Cap 2 Surse de informaţie 13 Cap 3 Codarea sursei 26 Cap 4 Canale de transmisie 41 Cap 5 Teste grilă 57 i ii Cap 1 Probabilităţi Informaţia Dicţionar: - aposteriori (a posteriori) -locuţiune latină: “din ceea ce urmează”, după experienţă, pornind de la datele ei; - apriori (a priori) - locuţiune latină: “din ceea ce precede”, anterior experienţei; - binar -1 care este constituit din două elemente; 2 a cărui bază este numărul 2; - bit/biţi -1 Unitate de măsură a informaţiei; 2 simbol binar; - discret -care este alcătuit din elemente distincte; care variază în salturi; cuantificat; discontinuu; - echiprobabil(e) -de egală probabilitate; - informaţie -necesarul/rezultatul cunoaşterii; 0,1] - probabilitate -1 însuşirea de a fi probabil; 2 măsură (funcţie) definită pe un câmp de evenimente, p : Ω→[ Definiţii: - sursă de informaţie (sau experiment probabilistic) = un mecanism (un experiment) prin care se selectează un mesaj (un eveniment) dintre n posibile după o lege arbitrară (sau cel puţin necunoscută); - mesaj (eveniment) = realizarea produsă în urma efectuării experimentului; - 1 bit = cantitatea de informaţie furnizată de o sursă de informaţie binară, fără memorie, echiprobabilă, printr-un mesaj al ei; - eveniment elementar = un eveniment ce nu poate fi definit ca o reuniune de două evenimente distincte între ele şi de primul Breviar teoretic: 1 Probabilitate Determinarea experimentală a probabilităţii de realizare a unui mesaj (eveniment) A se face după relaţia: 2 Probabilitate condiţionată Determinarea experimentală a probabilităţii de realizare a evenimentului (mesajului) B atunci când s-a realizat evenimentul (mesajul) A se face după relaţia: 3 Formula fundamentală a probabilităţilor evenimentelor elementare Dacă Ai, i = 1÷n sunt evenimentele elementare ale unui experiment probabilistic (mesajele unei surse de informaţie) atunci: n ()= ∑ i1Ap (1 3) 1i = 4 Relaţia lui Bayes Dacă A şi B sunt două evenimente atunci: A/BpBpB/ApApBA,p⋅(1 4) ()()()()() =⋅= unde p(A, B) = probabilitatea de a se realiza şi A şi B 5 Formula probabilităţii totale Dacă Ai cu i = 1, n sunt evenimentele elementare ale unui experiment probabilistic şi B un eveniment oarecare pentru acelaşi experiment atunci: n () ( ) ( ) ⋅= ∑ iiB/ApApBp (1 5) 1i = 6 Evenimente independente I, sunt independente dacă şi numai dacă pentru ∀ J ⊂ I Setul de evenimente Ai, i ∈ () () (1 6) =∩ ApΠ iiAp iiJJ∈ ∈ În particular, A şi B sunt două evenimente independente dacă şi numai dacă: 1 BpApBApBA,p⋅(1 7) =∩= ()( )()() şi utilizând relaţia (1 4) A/BpAp= () ( ) (1 8) () ( ) B/ApBp= 7 Informaţia Cantitatea de informaţie necesară ridicării nedeterminării asupra evenimentului A este egală cu cea furnizată de realizarea evenimentului A şi egală cu : 1 logAi=[biţi](1 9) () 2 () Ap 1 1 Zece mingi sunt puse în trei cutii C1, C2, C3 Care este probabilitatea ca în C1 să fie 3 mingi? Rezolvare: Fiecare minge poate fi aşezată în oricare din cele trei cutii; astfel că fiecare minge triplează numărul de variante de aşezare a mingilor în cutii Aşadar numărul de variante de aşezare a mingilor în cutii este: 10 N = 3⋅3⋅3 ⋅3 = 3 = 59 049 (1 1 1) Pentru a avea trei mingi în C1 trebuie ca celelalte şapte să fie aşezate în C2 şi C3 Numărul de variante cu trei mingi în C1 va fi: 73 15 3601281202CN=(1 1 2) =⋅= 103C⋅ 1 3 unde C reprezintă numărul de moduri de alegere a 3 mingi din 10 posibile (considerând mingile 10 7 distincte); iar 2 reprezintă numărul de posibilităţi de aşezare a şapte mingi în două cutii, C2 şi C3 Probabilitatea cerută este: 73 2C⋅ 10 26%P≅(1 1 3) = 103C1 3 1 2 Trei trăgători trag simultan asupra aceleiaşi ţinte Probabilitatea ca fiecare trăgător să nimerească ţinta este p1 = 0,4; p2 = 0,5; p1 = 0,7 Notând cu A evenimentul ca ţinta să fie lovită, B evenimentul ca ţinta să fie lovită exact o dată să se afle: a) p(A); b) p(B); c) dacă cele două evenimente A şi B sunt independente 2Rezolvare: a) Calculând probabilitatea evenimentului contrar lui A: () ()( )() (1 2 1) 9%p1p1p1Ap= −⋅−= 321− rezultă că: (1 2 2) −= ()() 91%Ap1Ap= b) Avem că: ()() AAApAAApBp+ ()∩∩+∩∩= 321321 () p1p1pAAAp+(1 2 3) ()() −=∩∩+ 321321− =36%pp1p1p1pp1 ()()()( ) −+−−+ 321321− unde cu Ai s-a notat evenimentul ca trăgătorul i să nimerească ţinta c) Pentru ca cele două evenimente să fie independente este necesar ca: p(A/B) = p(A) (1 2 4) dar cum: p(A/B) = 100% (1 2 5) rezultă că cele două evenimente nu sunt independente 1 3 Fie două urne, U1 (ce conţine 2 bile albe şi 3 bile negre) şi U2 (ce conţine o bilă albă şi 5 bile negre) Se extrage o bilă din U1 şi se introduce în U2, apoi se extrage o bilă din U2 Care este probabilitatea ca bila transferată să fi fost albă dacă bila extrasă din U2 este: a) albă; b) neagră? Rezolvare: Fie evenimentele A – bila transferată este albă; B – bila extrasă din U2 este albă; a) Pentru a calcula p(A/B) aplicăm formula lui Bayes: A/BpBpB/ApAp⋅(1 3 1) =⋅ () ( ) () ( ) Probabilităţile ()se calculează simplu: () Ap si Ap 23 ()() Ap= şi Ap= (1 3 2) 55 Probabilitatea condiţionată p(B/A) este: p(B/A) =2/7 (1 3 3) 3iar p(B) se poate calcula cu formula probabilităţii totale: 11322 () () ( )()() AB/pApB/ApApBp=(1 3 4) ⋅+⋅=⋅+⋅= 57575 Astfel: 22 ⋅ () ( ) 4B/ApAp⋅ 75 () == A/Bp=(1 3 5) () 71Bp 5 b) În mod analog 5 ()()()()()() A/BpAp/ABpApBp;/ABp= ⋅+⋅== 7 (1 3 6) 46352 = ⋅+⋅= 57575 52 ⋅ () () 2,55/ABpAp⋅ 75 () === () (1 3 7) A/BpBA/p!= 7144Bp () 5 Se observă, cum era de aşteptat, că este mai probabil să se fi transferat o bilă albă dacă din a doua urnă a fost extrasă o bilă albă 1 4 La un examen oral studenţii consideră că din totalul subiectelor m sunt uşoare şi n grele Precizaţi: a) Probabilitatea ca primul student să extragă un subiect uşor; b) Probabilitatea ca cel de-al doilea student să extragă un subiect uşor Rezolvare: a) Cu notaţiile: A – evenimentul prin care primul student extrage un subiect uşor; B – evenimentul prin care cel de-al doilea student extrage un subiect uşor, avem că: nm () Ap= Ap (1 4 1) () = nmnm+ + iar m1m− () B/Ap= AB/p (1 4 2) () = 1nm1nm− + −+ c) Pentru calcului lui p(B) se utilizează formula probabilităţii totale, relaţia (1 5) Rezultă că: nmm1m− Bp= ⋅+⋅= () nm1nmnm1nm+ −++−+ (1 4 3) m1nmm− ()+ = = nm1mnnm+ −++ ()( ) 4adică p(A) = p(B) cum era de aşteptat Obs: - cele două probabilităţi p(A) şi p(B) sunt probabilităţi apriori (dinainte de producerea evenimentelor) Înainte ca primul student să extragă un subiect, toţi studenţii, indiferent de ordinea lor, au şanse egale la a extrage un subiect uşor 1 5 Un tetraedru regulat are feţele colorate, una în roşu, una în galben, una în verde, iar cea de-a treia conţine pe toate trei culorile Se lasă să cadă tetraedrul pe una din feţe Fie evenimentele: R - faţa pe care a căzut tetraedrul conţine roşu; G - faţa pe care a căzut tetraedrul conţine galben; V - faţa pe care a căzut tetraedrul conţine verde a) cât este probabilitatea evenimentului roşu, p(R)? b) cât este probabilitatea condiţionată p(R/G)? c) sunt evenimentele R, G şi V independente? Rezolvare: a) Probabilitatea evenimentului roşu este: b) Probabilitatea de a se realiza evenimentului roşu dacă s-a realizat galben este: 1 () R/Gp=(1 5 2) 2 deoarece una din două feţe ce conţin galben conţine şi roşu c) Pentru ca evenimentele R, G şi V să fie independente trebuie să fie îndeplinite relaţiile: GpRpGRp ()()() ⋅=∩   VpRpVRp ()()() ⋅=∩  (1 5 3)  VpGpVGp ()()() ⋅=∩   VpRpGpVRGp ()()()() ⋅⋅=∩∩  Aplicând relaţia (1 1), găsim că: 11 VpGpRp= VGpVRpGRp () () ()()()() ∩=∩=∩=== 42 (1 5 4) 1 VRGp= ()∩∩ 4 Cum ultima relaţie din (1 5 3) nu este verificată evenimentele R, G şi V nu sunt independente 51 6 Pot fi simultan două evenimente şi incompatibile şi independente? Rezolvare: Fie A şi B două evenimente Incompatibilitatea lor presupune ca: 0BAp=(1 6 1) () ∩ iar independenţa: BpApBAp⋅(1 6 2) ()()() =∩ Din cele două relaţii rezultă că cele două evenimente pot fi independente, fiind incompatibile, doar dacă unul este de probabilitate nulă Altfel spus, două evenimente de probabilităţi nenule pot fi independente doar dacă sunt compatibile 1 7 O imagine alb negru se compune din 1024 x 256 pixeli Fiecare pixel poate avea un nivel de gri dintre 64 posibile Aflaţi informaţia furnizată de: a) un pixel; b) întreaga imagine Rezolvare: a) Considerând egal probabile nivelele de gri, conform definiţiei informaţiei unui eveniment: 1 () ( ) nivelplogpixeli=biţi (1 7 1) 6loggri =−= 22− 64 c) Întreaga imagine furnizează de 1024 x 256 ori mai multă informaţie: 6 101,5pixeli2561024imaginei⋅biţi (1 7 2) () ()≅⋅⋅= 1 8 a) Care este numărul de întrebări minime necesare pentru a afla un număr necunoscut Nx cuprins între 1 şi 1000? Întrebările pot fi de genul : “Numărul Nx este mai mare decât Np (nominalizat)?” b) Cât este primul prag Np1 şi cât este informaţia conţinută de răspunsul la întrebarea: “Numărul Nx este mai mare decât 348?” Rezolvare: a) Informaţia necesară pentru a afla numărul Nx necunoscut este: 11 logloglogi= 1000 biţi (1 8 1) = 222N= 1/1000Np () x Informaţia obţinută prin răspunsul la o întrebare este: 6 11 ()() logAplogApi⋅(1 8 2) +⋅= ppP2N2NN () () ApAp ppNN unde ANp este evenimentul prin care numărul Nx este mai mare decât pragul Np Evident: ()() (1 8 3) + 1ApAp= ppNN şi putem scrie: ()() (1 8 4) == Ap1Apx− ppNN de unde 11 ()()[] logx1xlogxii∈(1 8 5) x0,1cu +== 22N− p x1x− Funcţia i(x) îşi atinge maximul dacă 1 x=(1 8 6) 2 Valoarea maximului este: 1i=(1 8 7) bit m şi corespunde unui prag: 499N=(1 8 8) pm Aşadar, dacă pragul este ales la jumătatea intervalului în care se cunoaşte că se află Nx informaţia obţinută prin răspunsul la întrebare (în cazul cel mai defavorabil) este maximă şi egală cu 1 bit Cert, numărul minim de întrebări este: unde [y]sup denotă numărul întreg superior lui y Obs: numărul n = 10 găsit cu raţionamentul anterior este “minim” în cazul general, acest lucru însemnând că indiferent de Nx prin 10 întrebări de tipul celei din enunţ (cu pragurile alese “la jumătate”) se află valoarea sa Există cazuri particulare când, pentru anumite valori a lui Nx, să fie suficiente mai puţine întrebări (ex: Nx = 1 şi Np = 1) dar pentru astfel de cazuri intervine “şansa”! b) Din relaţia (1 8 8) Np1 = 499; Dacă pragul se alege (la prima întrebare) Np1 = 348 avem că 7 3481000− () 0,652Ap= şi ((1 8 10) ) = 0,348Ap= 1000 de unde: 10001000 0,932log0,348log0,652348i= ()⋅+⋅= 22biţi (1 8 11) 348652 Rezultatul cuprins în relaţia (1 8 11) arată că dacă pragurile nu vor fi alese “la jumătate” există posibilitatea să nu fie suficiente 10 întrebări ! 1 9 Câte cântăriri sunt minim necesare pentru a preciza o monedă falsă din 12 şi dacă moneda este mai grea sau mai uşoară? Moneda falsă diferă prin greutate iar cântăririle se fac pe o balanţă cu talere Rezolvare: Informaţia necesară pentru a soluţiona problema este: 24log2log12logi=biţi (1 9 1) = 222nec+ unde log212 este informaţia necesară pentru a afla moneda din 12, iar log22 este informaţia necesară pentru a afla dacă moneda este mai grea sau mai uşoară Informaţia maximă furnizată de o cântărire este: 3logi=biţi (1 9 2) 2cm şi se atinge dacă cele trei variante rezultat al unei cântăriri cu balanţa(A-balanţa se înclină spre dreapta, B-balanţa se înclină spre stânga, C-balanţa nu se înclină) sunt egal probabile: CpBpAp=(1 9 3) () () () = Numărul de cântăriri cerut va fi:  nneci (1 9 4) ⋅≤= n≤ inisau 22cmnec3log24logsau  i  supcm cu soluţia: nmin = 3 (1 9 5) Obs: - relaţia (1 9 2) este valabilă doar dacă cele trei variante rezultat ale cântăririi sunt egal probabile Astfel dacă cele 12 monezi se notează cu M1, M2, , M12 prima cântărire constă în a compara pe M1+ M2+ M3+ M4 cu M5+ M6+ M7+ M8 O posibilă rezolvare a problemei poate fi: A1 – moneda falsă este - mai uşoară şi este M1, M2, M3, sau M4 - mai grea şi este M5, M6, M7, sau M8 B1 – moneda falsă este - mai grea şi este M1, M2, M3, sau M4 -mai uşoară şi este M5, M6, M7, sau M8 C1 – moneda falsă este mai grea sau mai uşoară şi este M9, M10, M11, sau M12 8Dacă rezultatul primei cântăriri este A1, indicele 1 semnifică prima cântărire, A rezultatul ei, atunci se compară M1+ M2+ M5 cu M3+ M4+ M6 - dacă la a doua cântărire rezultă A2 atunci fie M1 sau M2 e mai uşoară fie M6 e mai grea şi se compară în continuare M1 cu M2; - dacă la a doua cântărire rezultă B2 atunci fie M3 sau M4 e mai uşoară fie M5 e mai grea şi se compară în continuare M3 cu M4; - iar dacă la a doua cântărire rezultă C2 atunci fie M7 e mai grea fie M8; se compară M7 cu M8 În mod analog pentru B1 şi C1 Obs: - relaţia (1 9 4) indică că problema ar putea fi rezolvată şi pentru 13 monezi în locul celor 12: n 3log27log26log= 3cu n ≤ 222= În realitate problema cu 13 monezi nu poate fi complet soluţionată din 13 cântăriri pentru că nu se poate asigura echiprobabilitatea rezultatelor 1 10 Cât este informaţia obţinută în diferitele variante de rezolvare a problemei cu 12 monezi? Dar cu 13 monezi? Răspuns: Pentru varianta A1 A2 A3 (cu 12 monezi): 8283  4,73123logloglog23logI= biţi ⋅+⋅⋅+= 2222+  2838  Obs: informaţia obţinută la a doua cântărire este mai puţină decât cea presupusă, log23 biţi 1 11 Un convertor analog-numeric (CAN) converteşte tensiunea de intrare Ux într-un număr Nx conform relaţiei:   U x N(1 11 1) = x   q   unde Ux poate lua valori între 0 şi Uma = 12,8 V; q este cuanta conversiei, q = x 50mV; [y] semnifică partea întreagă a lui y a) Câtă informaţie furnizează la ieşirea sa CAN-ul prin fiecare număr generat şi câtă informaţie se pierde ? b) Dacă CAN-ul foloseşte pentru conversie, în mai mulţi paşi succesivi, un comparator, să se stabilească câtă informaţie furnizează comparatorul la un pas şi câţi paşi sunt necesari pentru efectuarea conversiei ? c) Care sunt tensiunile de prag ale comparatoarelor utilizate, Upi, în conversia tensiunii Ux = 7,43 V, în cazul în care conversia se face într-un număr minim de paşi ? Răspuns: a) i = 8 biţi; în mod ideal Ux conţine + ∞ informaţie 9În realitate măsurarea unei tensiuni Ux este limitată (ca şi precizie) fie de rezoluţia aparatelor fie de nivelul zgomotului b) ic = 1 bit; 8 paşi; c) Up1 = 6,4 V; Up2 = 9,6 V; Up3 = 8 V; Up4 = 7,2 V; Up5 = 7,6 V; Up6 = 7,4 V; Up7 = 7,5 V; Up8 = 7,45 V 1 12 Un CAN de mare viteză utilizează 128 de comparatoare pentru a face conversia tensiunilor de intrare din intervalul [-12,8V, +12,8V] la o rezoluţie de q=100mV Determinaţi “redundanţa” în componente a CAN-ului Rezolvare: Numărul de “răspunsuri” distincte ale CAN –ului pentru o tensiune Ux ce variază de la - 12,8 V la +12,8 V este: 8minmaxUU− 2256N= (1 12 1) == q Probabilitatea ca o tensiune Ux să genereze un răspuns din cele N posibile este: -8 p0 = 1/N = 2(1 12 2) iar informaţia conţinută de un “răspuns” este: 8plogi=biţi (1 12 3) = 020− Pentru că un comparator “alege” o variantă din două posibile, informaţia furnizată de el este: 1 1logi=(1 12 4) bit = 2c− 2 Aşadar în mod ideal, pentru o conversie sunt suficiente: n = i0/ic = 8 comparatoare (1 12 5) de unde rezultă că redundanţa este de 120 de comparatoare Obs: Motivaţia utilizării a mai multor comparatoare constă în faptul că, la folosirea doar a 8 comparatoare, sunt necesare tensiuni de prag variabile în funcţie de tensiunea Ux, lucru ce scade viteza de conversie 1 13 La o transmisie numerică informaţia utilă se transmite prin secvenţe binare de câte n biţi, numite cuvinte Câtă informaţie este necesară pentru a preciza poziţia unui bit eronat din cei n? Dar pentru doi biţi eronaţi? Exemplificare pentru n = 8 10Rezolvare: Informaţia cerută se calculează cu formula: i = log2 n (biţi) (1 13 1) Se consideră că transmiterea (implicit eronarea) unui bit este independentă de a celorlalţi Aşadar, 2 biţi pentru un bit eronat i1 = 3 biţi; pentru doi biţi eronaţi 4,8Clogi≅ 822= 1 14 Aceeaşi întrebare ca şi la problema 1 13, cu diferenţa că este o transmisie ternară Rezolvare: În cazul transmisiei ternare corecţia unui simbol (ternar) eronat presupune pe lângă aflarea poziţiei sale (fapt ce necesită aceeaşi informaţie ca şi la secvenţa binară), şi valoarea simbolului iniţial, valoare ce poate fi una din două posibile Cu aceste justificări, răspunsurile vor fi: i1 = log2 n (pentru aflarea poziţiei) + log2 2 (pentru aflarea valorii) = 4 biţi (1 14 1) 22 6,8log2Clogi≅ biţi (1 14 2) = n22+ În relaţia (1 14 2) s-au adăugat 2 biţi de informaţie necesari aflării valorii “adevărate” pentru două simboluri ternare eronate 1 15 La o transmisie binară informaţia utilă este transmisă prin cuvinte de n=8 -3 biţi printr-un canal cu rata erorii p=10 Câtă informaţie, în medie pe un cuvânt, este necesară pentru a face: a) detecţie de o eroare pe cuvânt? b) detecţie de una sau două erori pe cuvânt? Rezolvare: a) Probabilitatea ca un cuvânt să fie eronat într-o poziţie este: − 11n1 [] 1np1pCp1pCp () ()=−−⋅⋅≅−⋅⋅= nn1 33− − 107,9440,993108⋅(1 15 1) =⋅⋅= p1 este şi probabilitatea ca receptorul să detecteze o eroare Cert 1-p1 este probabilitatea ca receptorul să ia decizia că nu există eroare (incluzând cazurile corecte şi false) Fie a şi b ∈ Ν astfel încât: p1 = a/b şi 1- p1 = (b-a)/b (1 15 2) 11Aşadar din b cuvinte transmise a sunt detectate cu eroare Pentru a detecta un astfel de cuvânt este necesară informaţia: (1 15 3) = 121dplogi− b-a cuvinte din cele b sunt considerate neeronate, pentru un astfel de cuvânt fiind necesară informaţia: (1 15 4) () −= 121np1logi− Concluzionând pentru b cuvinte recepţionate este necesară informaţia: b ⋅ i1 = a ⋅ i1d + (b-a) ⋅ i1n(1 15 5) iar pentru un singur cuvânt recepţionat, pentru a face detecţie de o eroare: aba − =⋅+⋅= 1n1d1iii bb ()p1logp1plogp ()=−⋅−−⋅−= 121121 = 0,0668 biţi/cuvânt (1 15 6) b) Şi în acest caz informaţia cerută are aceeaşi formă cu (1 15 6) doar că diferă p1: ()( )−⋅−−⋅−= 2212222p1logp1plogpi(1 15 7) unde p2 este probabilitatea ca un cuvânt să fie eronat într-o poziţie sau în două poziţii: −− 32n221n1− () ()⋅=−⋅⋅+−⋅⋅= nn2107,972p1pCp1pCp(1 15 8) de unde rezultă pentru i2 valoarea: i2 = 0,067 biţi/cuvânt (1 15 9) Obs: Detecţia prezenţei erorilor presupune a decide între două variante: există sau nu există erori în cuvântul în cauză Informaţia furnizată de o astfel de decizie (una din două posibile) este, în medie, subunitară, încât problema detecţiei din punct de vedere strict al informaţiei este solvabilă cu 1 bit (de informaţie) pe cuvânt, indiferent de p sau n 12 Cap 2 Surse de informaţie Dicţionar: - eficienţă –raportul dintre ansamblul efectelor utile (rezultatelor) ce se obţin de pe urma unei activităţi şi totalul eforturilor; - entropie (limba greacă “entropie”=întoarcere, schimbare) –mărime ce indică gradul de nedeterminare asupra unui sistem; - extensie –dezvoltare, creştere, amplificare, extindere; - graf –cuplu format dintr-o mulţime ale cărei elemente se numesc vârfuri şi dintr-o funcţie care asociază, la orice pereche ordonată de vârfuri (primul numit sursă iar al doilea adresă), un element, numit săgeată, al unei alte mulţimi - redundanţă (redondanţă) –1 abundenţă (inutilă) de cuvinte, de figuri retorice, de imagini pentru exprimarea unei idei; 2 excesul de informaţie faţă de strictul necesar; - stare –1 situaţie în care se află ceva sau cineva; 2 ansamblul valorilor instantanee a parametrilor ce caracterizează complet un sistem dat; - staţionar –care rămâne în aceeaşi stare; Definiţii: - Sursă de informaţie text = sursa de informaţie, de regulă considerată fără memorie, având drept simboluri caracterele distincte din textul dat (opţional se pot include semne de punctuaţie, pauzele dintre cuvinte, cifrele, etc) Probabilităţile diferitelor simboluri vor fi ponderile lor în text n - Extensia unei surse = fiind dată o SDFM, S cu N simboluri, se defineşte extensia de ordin n a sursei, notată S, sursa n având un număr de N simboluri obţinute din toate combinaţiile posibile de mesaje compuse din n simboluri ale sursei S - Sursă cu memorie (Markov) de m paşi = sursa de informaţie cu N simboluri pentru care emisia celui de-al m+1-lea simbol depinde de cele m simboluri anterior emise - Starea sursei Markov de m paşi = setul ultimelor m simboluri emise Dacă sursa poate emite M simboluri şi este cu m memorie de m paşi atunci admite M stări - Probabilitate de trecere p(Sj/Si) = probabilitatea ca sursa Markov să treacă în starea Sj = skm-1 skm-2 sk0 (prin emiterea simbolului sk0), dacă se află în starea Si = skm-2 skm-1 sk1 m - Matricea de tranziţie,T = o matrice pătrată de ordin M ce conţine toate probabilităţile de trecere; - Graful sursei cu memorie = graful ale cărui noduri reprezintă stările sursei, iar coardele (săgeţile) ce leagă nodurile probabilităţile de trecere - Sursă Markov staţionară = probabilităţile de trecere în n paşi converg către limite independente de starea iniţială când n → ∞ * - Stare de staţionaritate (a unei surse Markov staţionare) = un vector, P de dimensiune M ce conţine * probabilităţile p, j = 1, M ce verifică sistemul: j **  PTP =⋅  M  *(2 1) = ∑ j1p  1j =  * Probabilitatea p reprezintă şansa ca sursa Markov, după n paşi cu n → să se găsească în starea Sj j ∞ Notaţii: S –sursă de informaţie; N –numărul de simboluri; ÷ –simbolurile sursei; Si, i = 1÷ N ÷÷ ÷ –probabilităţile de emisie a simbolurilor Si; pi, i = 1÷ N ÷÷ m S –extensia de ordin m a sursei SDFM, S; m ÷ N –stările sursei cu memorie, S; Sj, j = 1÷ ÷÷ T –matricea de tranziţie; -6 ppm –părţi per milion (1ppm=10) Abrevieri: SDFM –Sursă Discretă Fără Memorie 13Breviar teoretic: 1 Mărimi ce caracterizează sursa de informaţie: entropia SDFM: N 1 () (2 2 a) = 2ilogpSH∑ i1ip= entropia sursei cu memorie: NN *1 () () (2 2 b) = 2jijlog/SSppSH∑∑ () ji1j1i/SSp== -entropia maximă: () NlogSH= 2max(2 3) eficienţa: () ()η S/HSH=(2 4) maxs redundanţa: R(S) = Hmax(S) – H(S) (2 5) redundanţa relativă: () ()ρ S/HSR=(2 6) maxs 2 Formulă pentru schimbarea bazei logaritmului: lnx xlog= 2(2 7) ln2 3 Condiţia de existenţă a stării de staţionaritate pentru sursă cu memorie: n0 ∃ n0∈Ν astfel încât T să fie o matrice regulată (are toate elementele strict pozitive) 2 1 O sursă de informaţie discretă are entropia egală cu 4,8 biţi/simbol şi redundanţa relativă 9,8% Câte simboluri are sursa? Rezolvare: Din relaţiile de definiţie a entropiei maxime şi a redundanţei relative pentru o sursă discretă fără memorie: NlogH= 2max(2 1 1) SH () ρ 1−(2 1 2) = maxH unde: H(s)-entropia sursei; Hmax-entropia maximă, ρ-redundanţa relativă, N-nr de simboluri a sursei, găsim că: 1008,4SH⋅ () H=(2 1 3) max= ρ 2,901− şi: H 402Nmax= (2 1 4) = 142 2 Fie sursa de informaţie S: S S S S S  54321   = 11111S     1641628   Se cere să se calculeze: a) informaţia medie pe simbol, H(s); b) valoarea maximă a entropiei sursei Hma; x η c) eficienţa sursei η ηη s; d) redundanţa sursei R; ρ e) redundanţa relativă ρ ρρ Rezolvare: a) Informaţia medie pe simbol sau entropia sursei H(S) se calculează cu formula: N 1 () ( ) = ∑ 2ilogspSH (2 2 1) () 1iisp = unde: N – numărul de simboluri a sursei S; si, N1,i= , – simbolurile sau mesajele sursei S; p(si) – probabilitatea ca sursa să emită simbolul si Înlocuind rezultă că: 11111 () 16log4log16log2log8logSH+ ++= 22222+ 1641628 172444342413+ +++ = =++++= 88164828 = 2,125 biţi/simbol (2 2 2) b) Entropia maximă este: biţi/simbol (2 2 3) 323,25logNlogH≅ = 22max= c) Eficienţa sursei este: SH () =(2 2 4) 91,5% = sη H max d) Redundanţa sursei R este diferenţa dintre entropia maximă şi entropia sursei date: R = Hmax - H(S) = 0,197 biţi/simbol (2 2 5) e) Redundanţa relativă, cu formula de calcul (2 6), are valoarea: = 8,5% (2 2 6) ρ 152 3 Sursa de informaţie discretă şi fără memorie S are drept simboluri caracterele distincte din următoarea propoziţie (sursă text): NU UITA NICI PAUZELE DINTRE CUVINTE Probabilităţile simbolurilor (caracterelor distincte) sunt ponderile lor din text Se cere: a) tabloul simboluri-probabilităţi pentru sursa S; η b) entropia H(S), redundanţa R şi eficienţa η ηη s sursei S; c) probabilitatea ca sursa să emită mesajul “AUR” Rezolvare: a) tabloul simboluri-probabilităţi este: CA D E I L N P R UT ZV     = 151143114154122S(2 3 1)     363636363636363636363636363636   b) Conform relaţiei de definiţie entropia sursei este: N 1 () ( ) = ∑ 2ilogspSH () 1iisp = NNN iiikk36k −36loglog(2 3 2) == ∑∑∑ i222klog 1i1i1ii3636k36 === unde: – N = 15 numărul de simboluri a sursei S; k i – ,p=- 1,15,i probabilităţile simbolurilor i= 36 Înlocuind în (2 3 2) valorile obţinute pentru ki din tabloul (2 3 1) găsim: 1 ()( 3log31log172log2236logSH +⋅+⋅⋅+⋅⋅−= 2222 36 )5log524log42 =⋅⋅+⋅⋅+ 22 1 () 5log10163log343log22 =⋅++⋅+−⋅+= 222 36 106952 5log3log =−+= 22 363636 = 3,8373 biţi/simbol (2 3 3) Redundanţa şi eficienţa sursei se obţin cu relaţiile: SHNlogSHHR− () ()=−= 2max SHSH ()() =(2 3 4) = sη NlogH 2max Cunoscând N = 15 şi cu H(S) dat de (2 3 3) găsim: 16 R = 0,06958 biţi/simbol η s = 98,22% (2 3 5) c) Sursa S fiind fără memorie probabilitatea cerută va fi: 4142− 101,715RpUpApAURp⋅(2 3 6) ()()()()=⋅⋅=⋅⋅= 363636 2 4 Fie sursa de informaţie discretă şi fără memorie: S S S S S S S  7654321   = 25825302010S     100100100100100100100   Să se calculeze pentru sursa S: a) entropia H(S); b) valoarea maximă a entropiei sursei Hma; x η c) eficienţa sursei η ηη s; d) redundanţa sursei R; ρ e) redundanţa relativă ρ ρρ Răspuns: a) H(S) = 2,44 biţi/simbol b) Hmax = 2,8 biţi/simbol c) η = 86,85% s d) R = 3,7 biţi/simbol e) ρ = 13,15% 2 5 Fie sursa text: STUDENTUL *** REZOLVA O PROBLEMA DE TTI a) înlocuiţi *** cu numele şi prenumele dumneavoastră şi construiţi în acest caz tabloul sursei; b) calculaţi entropia şi eficienţa sursei de la punctul a); c) cât este probabilitatea ca sursa de la a) să emită mesajul “MAR” Răspuns: pentru *** = POP ION BA D E I L M N O P R S UT ZV   a)= 171124123521324212S    444444444444444444444444444444444444  17 1 () 7log75log5163log62644logSH3,896 biţi/simbol b)() =⋅+⋅++⋅+⋅−= 2222 44 896,3 %44,93= = sη 18log 2 4 c)()ppm47= MARp = 3 44 2 6 O sursă de informaţie binară cu memorie de doi paşi are graful corespunzător în figură Să se afle: a) probabilităţile de trecere nefigurate; b) ce şanse sunt ca după transmiterea mesajului “00110” să se transmită mesajul “11” c) matricea de tranziţie şi o eventuală stare de staţionaritate; d) entropia sursei date Rezolvare: a) Probabilităţile cerute sunt: 2 () () /SSp1/SSp= = 1112− 7 1 /SSp1/SSp= () ()−= 2423 2 (2 6 1) 3 /SSp1/SSp= () ()−= 4443 5 1 /SSp1/SSp= () ()−= 3132 4 b) Deoarece sursa are memorie de doi paşi, din mesajul transmis “00110” sunt relevanţi, pentru definirea stării actuale, doar ultimii doi biţi transmişi “10” Aşadar starea actuală este S3 Din S3 şansele ca sursa să emită “1” şi, ca atare, să treacă în starea S2 sunt de 25% (p(S2/S3)) Prin generarea încă a unui “1” sursa va trece din starea S2 în starea S4 Probabilitatea acestei tranziţii este de 50% Concluzionând probabilitatea ce “însoţeşte”acest traseu S3→ S2→ S4 este: 111 () 12,5%SSSp=(2 6 2) ⋅=→→ 423= 824 18c) Matricea de tranziţie este: 43   0 0   77   /SSp /SSp /SSp /SSp ()()()( )   1114131211   0 0   ()()()( )   /SSp24232221 /SSp /SSp 22/SSp   T(2 6 3) = =     /SSp /SSp /SSp 13/SSp ()()()() 34333231   0 0   /SSp /SSp /SSp 44/SSp   ()()()( ) 44434241     23 0 0   55   * O eventuală stare de staţionaritate ar conţine probabilităţile p , ca sursa să se afle într-o i anumită stare Si : ***** [] (2 6 4) pP= p p 4321p * cu P îndeplinind condiţia: ** PTP=(2 6 5) * Înlocuind în (2 6 5) pe T şi P date de (2 6 3) şi (2 6 4) rezultă: 43  1- 0 0   77   11   0 1-  22**** [] p= p p p 0 (2 6 6) 4321  13  1- 0 44   23 0 0 1-   55  Sistemul de ecuaţii dat de (2 6 6) este compatibil nedeterminat fapt ce necesită încă o relaţie între * probabilităţile p, relaţie care este: i **** [] (2 6 7) p= p p p 1 ++ 4321+ Soluţia sistemului obţinut din (2 6 6) şi (2 6 7) este: 40484863  * p(2 6 8) =  199199199199  d) Entropia sursei cu memorie se calculează cu formula: 222 () () () ( ) (2 6 9) ⋅= ∑∑ ij2ijiM/Saplog/SapSpSH⋅ 1i1j== 19unde Si, cu i = 1÷4, sunt cele 4 stări posibile ale sursei iar aj, cu j = 0÷1, sunt mesajele posibil a fi emise din fiecare stare Pentru uşurinţa calculului entropiei, elementele cerute de suma dublă din (2 6 9) sunt date în tabelul următor : Siaj*( ()= ij/Sap iipSp) S1 = 00 0633/7 14/7 199 S2 = 01 0481/2 11/2 199 S3 = 10 0483/4 11/4 199 S4 = 11 0403/5 12/5 199 Tabelul 2 1 Înlocuind în (2 6 9) elementele din tabelul 2 1 rezultă : 212148747363  loglogloglogSH () +++=  2222M 12121994737199  525340414348  loglogloglog ++++  2222 25351991434199  = 0,944 biţi/simbol (2 6 11) 2 7 O sursă de informaţie binară cu memorie de doi paşi are graful corespunzător în figură Dacă în prezent sursa se află în starea Si cât este probabilitatea ca după trei simboluri sursa să se regăsească tot în starea Si? Răspuns: ()( ) SSSSpSSSSp= →→+→→→ 13211111→ 3 2134  %37,24= ⋅⋅+=  5377  202 8 O sursă de informaţie binară cu memorie de un pas are probabilităţile de trecere: p(0/0) = 5/7 şi p(0/1) =3/4 a) construiţi graful sursei date; b) calculaţi starea de staţionaritate; c) determinaţi entropia sursei; d) determinaţi entropia unei surse fără memorie având aceleaşi simboluri şi probabilităţile simbolurilor cele conţinute în starea staţionară Rezolvare: a) Pentru a putea construi graful sursei cu memorie aflăm probabilităţile de trecere ce nu sunt date în enunţul problemei: p(1/0) = 1 - p(0/0) = 2/7 p(1/1) = 1 - p(0/1) = 1/4 (2 8 1) În acest fel graful este: b) Matricea de tranziţie este: 25   77 T (2 8 2) =  31   44  iar starea staţionară se află rezolvând sistemul: ****  [][] p pTp p =⋅  1010 (2 8 3)  **  p 1p =+ 10  Rezultă: 7  * p = 0   15 (2 8 4)  8 *  p = 1  15  c) Entropia sursei cu memorie este dată de relaţia: 11 () () () ( ) (2 8 5) ⋅= ∑∑ ij2ijiM/Saplog/SapSpSH⋅ 0i0j== unde S0 = 0; S1 = 1; a0 = 0; a1 = 1 21 87 ** ()() pSp= pSp == 1100= 1515 iar probabilităţile p(aj/Si) sunt cele indicate de graf Înlocuind în (2 8 5) rezultă: 4341872757   loglogloglogSH () ++ +=   2222M 341415275715   = 0,8355 biţi/simbol (2 8 6) d) O sursă fără memorie conformă cu cerinţele problemei are tabloul: S S  21  = 87S(2 8 7)   1515  iar entropia: 158157 loglogSH 0,9968 biţi/simbol (2 8 8) ()=+= 22 815715 Comparând cele două entropii găsite HM(S) şi H(S) se observă că ultima este mai mare 2 9 O sursă de informaţie binară cu memorie de trei paşi are graful corespunzător în figură Să se afle: a) matricea de tranziţie; b) entropia sursei; c) probabilitatea ca sursa, aflată în starea S2, după emiterea a trei simboluri să ajungă în starea S3 Răspuns: 22a) 11   0 0 0 0 0 0   22   31   0 0 0 0 0 0   44   32   0 0 0 0 0 0 55     11 0 0 0 0 0 0   22   T =   12 0 0 0 0 0 0   33   23   0 0 0 0 0 0   55   43   0 0 0 0 0 0   77   43   0 0 0 0 0 0   77   1471261359612610596128  * p b)=  959959959959959959959959  0,961454SH=biţi/simbol () M 9 c)()9%SSSSp= →→→ 3632= 100 2 10 Fie sursa de informaţie fără memorie având tabloul simboluri- probabilităţi: a b c d   S =  0,2 0,4 x0,1  Se cere: a) valoarea lui x; b) entropia şi eficienţa sursei S; 2 c) tabloul sursei de informaţie S(extensia de ordin a lui S); 2 d) entropia şi eficienţa sursei S Rezolvare: a) Deoarece: N = ∑ rezultăi1p x = 0,3 (2 10 1) 1i = N 1 b)() == ∑ 2i846,1logpSHbiţi/simbol – entropia (2 10 2) 1iip = 23 SHSH ()() η 92,32%= – eficienţa (2 10 3) = s= NlogH 2max b) Extensia unei surse S se obţine asociind câte două mesaje ale sursei S Astfel: aa ab ac ad ba bb bc bd ca cb cc cd da db dc dd     2 = 9312631421241686284S     100100100100100100100100100100100100100100100100   (2 10 4) 2 ) c) (l3,692SH2SH= biţi/simbol (2 10 5) ()⋅= 2 ()() SH2SH⋅ η (2 10 6) === S222η S () 2maxNlogSH Obs: Entropia extensiei de ordinul doi a sursei S este dublul entropiei sursei date, eficienţa păstrându-se Prin generalizare se poate arăta că: m ()() SHmSH⋅ = (2 10 7) η = Smη S m unde S este extensia de ordin m a sursei S 2 11 O sursă ternară cu memorie de un pas are graful din figură a) să se afle cele trei probabilităţi de trecere necunoscute; b) calculaţi starea de staţionaritate; c) calculaţi entropia sursei date; d) pentru ce valori ale probabilităţilor de trecere sursa este practic fără memorie? Răspuns: 111 /SSp= /SSp /SSp a)() ()()== 133221 325 24 122512 *** b)pp= p = 321= 494949 c) StareaStareaProbabilitateaProbabilitatea de actualăviitoarestării staţionaretrecere S11/3 S1S212/491/3 S31/3 S11/5 S2S225/493/5 S31/5 S11/4 S3S212/492/4 S31/4 Tabelul 2 2 1,3325SH= biţi/simbol () M )()() γβα d)( /SSp= /SSp /SSp 1,2,3j === jijiji∀ γβαγβα R,,cu =1 ++∈ + 2 12 O SDFM are N = 32 simboluri şi eficienţa de 75% Cât sunt entropia, redundanţa şi redundanţa relativă a sursei date? Răspuns: H(S) = 3,75 biţi/simbol R = 1,25 biţi/simbol ρ = 25% 25 Cap 3 Codarea sursei Dicţinoar: - cod (limba latină "codex"- culegere) - 1 ansamblul unor reguli; 2 culegere de legi; 3 sistem de semnale sau semne convenţionale cu semnificaţii bine precizate, ale căror combinaţii sunt folosite pentru transmiterea unor mesaje; - compresie - reducere a volumului Definiţii: - codare = procesul de atribuire a unor succesiuni (secvenţe) de simboluri elementare mesajelor (simbolurilor) unei surse de informaţie; - alfabetul codării = totalitatea simbolurilor elementare cu ajutorul cărora se pot construi succesiunile (secvenţele); - cuvânt de cod = o secvenţă (succesiune) atribuită prin procesul de codare a unui mesaj al sursei de informaţie; - cod = totalitatea cuvintelor de cod; - cod - binar = alfabetul este binar: {0, 1}; - bloc = cuvintele au aceeaşi lungime; - unic decodabil = fiecărei succesiuni de cuvinte de cod îi corespunde o unică succesiune de simboluri a sursei; - instantaneu = nici un cuvânt de cod nu este prefixul altui cuvânt; - graful de codare (graful codului) = un arbore ce creşte, dintr-un punct iniţial (numit sursă), prin m ramuri la fiecare nod (m - numărul de simboluri elementare din alfabet) şi are la finele oricărei ramuri (numită frunză) câte un simbol (mesaj al sursei) Fiecare din cele m ramuri ce pleacă dintr-un nod este notată cu unul dintre simbolurile elementare ale afabetului codului Secvenţa obţinută prin asocierea simbolurilor elementare ataşate unei căi, ce pleacă de la sursă şi ajunge la o frunză, este cuvântul de cod ce codează simbolul (mesajul) sursei ataşat acelei frunze; - eficienţa codării = raportul între lungimea medie minimă a cuvintelor unui cod ce ar putea coda sursa dată şi lungimea medie a cuvintelor codului dat; - compresia = procedeul de recodare a unei surse cu scopul de a obţine o eficienţă superioară primului cod; - factor de compresie = raportul eficienţelor codurilor, comprimat şi iniţial Notaţii: L - lungimea medie a cuvintelor codului; ηη ηη c - eficienţa codării; F - factor de compresie Abrevieri: LZ -77 - algoritmul de compresie Lempel -Ziv '77 Breviar teoretic: 1 Teorema I-a a lui Shannon: pentru orice sursă de informaţie S, printr-o codare pe grupe de n simboluri, poate fi făcută o codare absolut optimală dacă n→∞; 2 Lungimea medie a cuvintelor codului: N = ∑ iilpL (3 1) = 1i unde: li - lungimea cuvântului ataşat simbolului sursei; si=numărul de simboluri elementare din componenţa câmpului respectiv; 3 Eficienţa codării se poate calcula după formula: SH () (3 2) η c= L 263 1 Fie sursa de informaţie discretă şi fără memorie: dcba   = S  15,02,025,04,0  şi trei coduri binare pentru sursa S: C C1aI C1aII 00aIII 01b01b10b 10c001c100c 11d000d110d a) Ce secvenţă binară corespunde, pentru fiecare cod în parte, mesajului sursei: "abacdab"?; b) Arătaţi că decodarea secvenţei construite la punctul a) este unică doar pentru CII şi CIII, nu şi pentru CI; c) Calculaţi entropia sursei şi eficienţa acesteia; d) Calculaţi lungimea medie a cuvintelor fiecărui cod, precum şi eficienţa codării Rezolvare: a) Secvenţele binare cerute se obţin prin simpla substituţie a literelor cu secvenţele binare (cuvintelor) corespunzătoare lor: Sv1=1101100110 110 Sv2=1011001000 101(3 1 1) Sv3=0001001011 0001 b) Decodând secvenţa Sv1 prin I găsim cel puţin două variante de decodare: abacdab, dacdd, abacabab, etc fapt ce nu se poate întâmpla cu Sv2 şi Sv3 prin CII, respectiv CIII c) Conform formulei de definiţie, entropia sursei este: N 1 9,1logpSH= biţi/simbol (3 1 2) () ∑ 2i= p 1ii= Pentru calculul eficienţei este necesară în prealabil entropia maximă: 2NlogH= biţi/simbol (3 1 3) 2max= Rezultă eficienţa sursei: SH () %95=(3 1 4) η s= H max 27d) Lungimea medie a cuvintelor unui cod se calculează cu formula: N = ∑ iilpL (3 1 5) = 1i unde li este lungimea cuvântului de cod numărul i Deoarece CI şi CII au aceleaşi lungimi pentru cuvinte şi lungimea medie va rezulta aceeaşi: 95,1315,032,0225,014,0LL= biţi/simbol (3 1 6) +⋅+⋅+⋅== 21⋅ iar: L3=2 biţi/simbol (3 1 7) fiind un cod bloc Eficienţele codărilor rezultă: (3 1 8) %6,97= %95 =η=η=η s3c2c1cη Obs : - Deşi CIII are lungimi ale cuvintelor de cod mai mici decât CI şi CII, totuşi acestea "codează mai eficient" sursa dată, deoarece atribuie cuvânt de cod scurt (lungime 1) simbolului cel mai frecvent (a) - Codurile CII şi CIII sunt coduri unic decodabile prin faptul că decodarea unei secvenţe codate decurge într-un unic fel În plus sunt şi coduri instantanee Un exemplu de cod unic decodabil, dar nu şi instantaneu, este: CIV a 1 b10 c100 d 000 - Cu toate că realizează biunivocităţi între mulţimea mesajelor sursei S şi mulţimea cuvintelor de cod, codul CI nu poate fi utilizat deoarece informaţia transmisă printr-un astfel de cod poate fi deformată la decodare 3 2 O SDFM cu 20 simboluri echiprobabile se codează cu un cod bloc (toate cuvintele au aceeşi lungime) a) Cât sunt entropia şi eficienţa sursei date? b) Cât este lungimea medie m a cuvintelor codului, minim necesară ? c) Calculaţi eficienţa codării Rezolvare: a) Sursa fiind echiprobabilă: H(S)=Hmax=log220=4,32 biţi/simbol (3 2 1) 28şi, ca atare: η s=100% (3 2 2) b) Pentru a putea atribui N secvenţe binare, de lungime m, celor N mesaje ale sursei este necesar ca m să existe cel puţin N secvenţe distincte Cum numărul de secvenţe binare de lungime m este 2 m rezultă că 2≥ N, unde N este numărul de simboluri al sursei, N=20 În plus, conform cerinţelor problemei vom alege pe cel mai mic m ce verifică inegalitatea, astfel încât: m1m− 2N2 L2 ⇒ η > η c1c2 3 4 Fie sursa de informaţie text (inclusiv pauzele): "TEORIA TRANSMITERII INFORMATIEI " a) Să se afle tabloul sursei; b) Să se codeze cu un cod optimal prin algoritmul Huffman; c) Să se calculeze eficienţa codării şi factorul de compresie faţă de o codare bloc; d) Să se construiască graful de codare Răspuns: a) TSRONMIFEA     124142227133S =   323232323232323232323232   b) A 000 0 1001 E 1111 R 110 F 11100 S 111011 I 01 T 101 M 0011 1000 N 0010 111010 c) %925,98= F=1,185 cη 31d) 01 0 01 1 101 1 I 0 1 0 0 A1 T R 1 0O N 0M E 01 F S 3 5 O sursă de informaţie discretă şi fără memorie, având redundanţa relativă ρρηη , a fost codată cu un cod binar cu eficienţe η ρρη c Ştiind că: ηη ρ =1 ηη ρρ c+ρ şi cunoscând lungimea medie a cuvintelor codului bloc L=5 biţi/simbol aflaţi numărul de simboluri ale sursei Răspuns: N=32 3 6 Sursa de informaţie, fără memorie, constituită din simbolurile A, C, D, E, I, N, R, cu p(A)=0,28, p(C)=0,14, p(D)=0,05, p(E)=0,18, p(I)=0,16, p(N)=0,06 se codează cu un cod binar prin algoritmul Huffman static Care este lungimea secvenţei binare ataşate mesajului "CRIN" ? Răspuns: 13 biţi 3 7 O sursă de informaţie echiprobabilă cu 50 simboluri se codează cu un cod binar bloc de eficienţă maxim posibilă (codare pe simbol) Cât este eficienţa codării? 50 Răspuns: %67,9850log= =η 2c⋅ 286 323 8 Sursa text (fără pauze): VINE EA SI VACANTA ordonată alfabetic, se codează cu un cod binar (cod binar natural) Considerând ieşirea codorului drept o sursă binară secundară, cu cât este egală entropia acestei surse secundare (considerată şi ea fără memorie)? Rezolvare: Tabloul simboluri probabilităţi este: VTSNIECA   21122214S (3 8 1) =  1515151515151515  iar codul binar bloc cerut: A 000 C 001 E 010 I 011 N 100 (3 8 2) S 101 T 110 V 111 Probabilitatea ca sursa secundară să emită un zero se calculează cu relaţia: N i0m () ⋅= ∑ iEp0p (3 8 3) m = 1i unde: N=8 - numărul de simboluri al sursei primare; p= 1 Ni i-probabilităţile simbolurilor sursei primare; m=3 lungimea cuvintelor codului; m0i - numărul de zerouri din componenţa cuvântului i În mod analog: N i1m () ( ) ⋅=−= ∑ iEEp0p11p (3 8 4) m = 1i Efectuând calculele, găsim că: 261 111122212212430p= ()()⋅+⋅+⋅+⋅+⋅+⋅+⋅= E 4545 191 231212212221111p= ()()⋅+⋅+⋅+⋅+⋅+⋅+⋅= E(3 8 5) 4545 astfel tabloul sursei secundare este: 33 10   '   S(3 8 6) =   45/1945/26   iar entropia: 45194526 ' () biţi/simbol (3 8 6) 9825,0loglogSH= = 22+ 19452645 3 9 Folosind algoritmul LZ-77 găsiţi: a) rezultatul compresiei mesajului: aaabcbaabcc ; b) mesajul iniţial, dacă rezultatul compresiei a fost 00c00b73c72b640; Lungimile blocurilor Lempel respectiv Ziv sunt 8 şi 4 Rezolvare: a) Diagrama de mai jos prezintă iterat codarea LZ 77 asupra mesajului dat: 123 45678910 11 12 SL A aaab 00a aa a b c 8 2 b aa a b c b a a 0 0 c aaa b c b a a b 7 1 a aaabcbaa b c c 4 3c Rezultatul comprimării este 00a82b00c71a43c b) Decodarea mesajului comprimat se poate urmări cu ajutorul diagramei: 123 45678910 11 12 SL A c00c cb 0 0 b cbc b c c 7 3 c cbcbccc c b 7 2 b bc b ccccbc c b c 6 4 0 Aşadar, mesajul iniţial este: cbcbccccbccbc 3 10 Comprimaţi mesajul: aaabcca utilizând algoritmul Huffman dinamic Cât este factorul de compresie? Rezolvare: Vom prezenta evoluţia arborelui (grafului) asociat codului în timpul codării mesajului dat: 34 iniţial: 100 mesaj: 1 Arbore simbol cuvânt de cod S-a codat "a": 3codul:1mesaj: a2 00 a1 0 1 21a100 Obs: Semnificaţia notaţiilor este: -pentru nod:p x - x: număr de ordine (creşte de la stânga către dreapta şi de jos în sus pe linii); - p: ponderea cumulată din nodurile aferente - pentru frunză (nod terminal): xp y - x: număr de ordine; - p: pondere (număr de apariţii ale respectivului simbol); - y: simbolul Frunza goală, notată cu "0", este de pondere 0 codare cu zero; - pentru ramură: - spre stânga ≡ - spre dreapta ≡ codare (atribuire) cu unu 3 S-a codat "aa"4 S-a codat "aaa" 3233 mesaj: a1 mesaj: a11 codul: 0 0 codul: 0 0 1010 a 1 a 1 10021023a a 0 2 5 S-a codat "aaab"6 S-a codat "aaabc" 547 5 mesaj: a110b mesaj: a110b00c codul: 0 00 codul: 0 000 1010 a 1 a 1 b 01 b 01 31456 c 00123a 3a 1010 1 021b314b 0 1 10 10021c1 35 7 S-a codat "aaabcc" mesaj: a110b00c001767 6 codul: 0 000 a 11010 b 001 c 01 536a 3536 a 3 Schimb 10între 0 1 nodurile 314 c3 2 41 2 şi 4 2 b 100 1 10021b1 022c 0 8 S-a codat "aaabcca" 77 mesaj: a110b00c0011 codul: 0 000 10 a 1 b 001 536 a 4 c 01 10 314 c 2 10 1002b 1 Obs : la pasul 7 s-a produs un schimb între nodurile 2 şi 4 deoarece ponderea primului era mai mare (2 > 1), conform regulii care spune că un nod cu număr de ordine mai mic şi pondere mai mare decât un altul va face schimb de poziţie în arbore cu acesta din urmă Considerând caracterele în mesajul iniţial codate pe 8 biţi, lungimea acestuia este: Li=7⋅8=56 biţi (3 10 1) Mesajul comprimat (a110b00c0011) are: 3+9=33 biţi (3 10 2) L2=8⋅ Rezultă un factor de compresie: 36 L 1 (3 10 3) 7,1F≅ = L 2 3 11 Fie mesajul "aacacabcabdabadabc" Să se comprime mesajul dat prin aplicarea algoritmului: a) LZ 77; b) Huffman dinamic; c) Huffman static, presupunând mesajul dat o SDFM text d) Calculaţi în fiecare caz factorul de compesie faţă de o codare bloc pe opt biţi a mesajului iniţial Rezolvare: a) Recodarea aferentă algoritmului LZ77 este prezentată în diagrama următoare: 123 45678910 11 12 SL A aa c a 00a aa c a c 8 1 c aaca c a b 7 3 b aacacabc a b d 6 3d ac abcabda b a d 3 2 a bc a bdabad a b c 5 3 c Mesaj comprimat 00a 81c 73b 63d 32a 53c de lungime: L1=12⋅3+6⋅8=84 biţi (3 11 1) b) 1 1mesaj codat: "a"3 mesaj transmis: "a" 0 1 cod: 0 0 a 1 02101a 2 32 mesaj codat: "aa" mesaj transmis: "a1" 0 1 cod: 0 0 a 1 02201a 37 3 mesaj codat: "aac" 5 3 mesaj transmis: "a10c" 0cod: 0 00 1 a 1 1423a c 01 0 1 120c 01 (4 5 6 ) 7 mesaj codat "aacacab" 77 mesaj transmis "a10c101100b" cod 0 0001 a 1 b 001 a 7384 c 01 0 1 5162b 0 1 1041c (8 9 10 ) 11 911911 001 1 7685a7586a 001 1 5363c5363c 001 1 3142b3142b 001 1 1021d10210d 38 mesaj codat: "aacacabcabd" mesaj transmis: "a10c101100b011001000d" cod: 0 1000 a 0 b 101 c 01 (12 ) 13 mesaj codat: "aacacabcabd" 913 mesaj transmis: "a10c101100b011001000d" cod: 0 110001 a 0 b 111 68 7 a 7 c 10 0 1 d 1101 5364c 0 1 3143b 0 1 10210d (14 15 16 17 ) 18 mesaj codat: "aacacabcabd"918 mesaj transmis: "a10c101100b011001000d" 0 1 cod: 0 1100 a 0 78810a b 10 c 1110 1 d 1101 5466b 0 1 3244c 0 1 10220d 39Lungimea rezultată a mesajului transmis este: 8+33=65 biţi (3 11 2) L2=4⋅ c) Pentru a putea coda mesajul transmis prin algoritmul Huffman static definim sursa: dcba   2448S =  18181818  asupra căreia putem aplica algoritmul: 8 08 010 1a 4 1 06 11 8 0b 4 1114 10c 2 110d Cu ajutorul codului obţinut mesajul se transmite prin secvenţa binară: "001110111010111010" L3=34 biţi (3 11 3) d) Dacă mesajul iniţial este codat bloc pe 8 biţi lungimea secvenţei binare codate este: L0=18⋅ 8=144 biţi (3 11 4) Cu rezultatele conţinute în relaţiile (3 11 1, 2, 3 şi 4) găsim pentru factorii de compresie valorile: 144 7143,1F= 1= 84 144 (3 11 5) == 12F3,12154,2F= 65 144 == 13F47,22353,4F= 34 40 Canale Cap 4 Canale de transmisie Dicţionar: - canal (de transmisie) - cale (mediu fizic) de transmisie prin care circulă infpormaţia între emi ţător (sursă) şi receptor (utilizator); - câmp (corp) - o mulţime K de elemente care satisfac următoarele axiome: 1 - pe K sunt definite două operaţii: adunarea şi înmulţirea; 2 - în raport cu adunarea K formează un grup abelian cu elementul nul 0; 3 - K \ {0} formează grup abelian pentru înmulţire; 4 - înmulţirea este distributivă faţă de adunare; - echivoc - 1 suspect, îndoielnic; 2 echivocaţie- măsură a efectului perturbaţiilor asupra comunicaţiilor prin canale; - capacitate –valoarea maximă pe care poate să o aibă un parametru al unui sistem, parametru ce indică performanţe de înmagazinare, transport sau prelucrare Definiţii: 1 - transferul informaţiei între câmpul de intrare X, cel de ieşire Y şi canal C: Informaţia ce o adaugă canalul, în medie, H(Y/X) fiecărui simbol binar CâmpCâmp H(X) I(X,Y) H(Y) intrareieşire XY CANAL Informaţia ce iese, Informaţia, în medie, ceîn medie, din canal printr-un simbol în canal printr-unH(X/Y)intră simbol binarbinar Informaţia ce o pierde Informaţia ce în canal, în medie, un traversează simbol binar canalul, în medie, cu un simbol binar 2 - Cantitatea de decizie D a unei surse cu m simboluri = maximul entropiei sursei D=Hmax; • - Debitul de decizie D - cantitatea de decizie generată în unitatea de timp; • - Debitul de momente M - numărul de momente transmise în unitatea de timp; - Baud (Bd) - unitatea de măsură a debitului de momente; - Moment - semnal elementar purtător de informaţie de durată TM Notaţii: x0=0E , x1=1E - simbolurile emisibile în canalul binar; X={x0 , x1} - câmpul de la intrare în canal; y0=0R , y1=1R - simbolurile recepţionabile din canalul binar; Y={y0 , y1} - câmpul de la ieşirea din canal; p(xi) - probabilitatea de a emite în canal xi; p(yj) - probabilitatea de a recepţiona din canal yj; P(Y/X) - matricea de tranziţie=[p(yj / xi)]2× 2; p(yj /xi) probabilitatea (apriori) de a se recepţiona yj când a fost emis xi; P(X,Y) =[ p(xi, yj)]2× 2; 41 Canale p(xi, yj) - probabilitatea de a se fi emis xi şi a se recepţiona yj; P(X/Y) =[ p(xi/yj)]2× 2; p(xi/yj) - probabilitatea (aposteriorii) de a se fi emis xi când s-a recepţionat yj; - raport semnal-zgomot ξξ ξξ Abrevieri: RSZ (SNR) - Raport Semnal pe Zgomot (Signal to Noise Ratio); CBS - Canal Binar Simetric; BER - Bit Error Rate (rata erorii) Breviar teoretic: 1 Relaţii între matrici 00p () βα   E == ()() X/YPY,XP(4 1)   1p0 () δγ  E  () ()δ+β=γ+α= 0p (4 2) RR1p 1  0  () R0p Y,XPY/XP (4 3) ()()= 1  0  () R1p  2 Entropii condiţionate 11 1 () ; (4 4) - eroarea medie () = ∑∑ 2jilogy,xpX/YH⋅ () ij0i0jx/yp== 11 1 () - echivocaţia ()logy,xpY/XH⋅ ; (4 5) ∑∑ 2ji= () ji0i0jy/xp== - transinformaţia () y,xp11 ji () () logy,xpY,XI⋅ ∑∑ 2ji= () ypxp(4 6) () ji == 0i0j −X/YHYHY/XHXH ()()()()=−= 3 Capacitatea canalului - discret ()Y,XImaxC=(biţi/simbol) (4 7) ip •• - continuu ()1logBmlogMDCmaxmax(4 8) ξ+=== 2max2 • 5• unde: B2Mmax= - (canal ideal); BMmax= (canal real) (4 9) 4 1m(4 10) ξ+= max 4 Redundanţa şi eficienţa canalului () Y,XICR− - redundanţa absolută(4 11) C= Y,XI () 1− - redundanţa relativ (4 12) ρ c= C Y,XI () - eficienţa (4 13) η c= C 42 Canale 4 1 Fie secvenţa binară: i0=100101011100011100100110(4 1 1) generată de o SDFM echiprobabilă, X În vederea transmiterii dibiţii din secvenţa i0 se codeză prin: ∈ 00 S00(t)= -3V t∈ ∈∈ ∈ 01 S0(t)= -1V t∈ ∈ 1∈ ∈ 10 S1(t)= 1V t∈ ∈ 0∈ (4 1 2) ∈ cu T=250µ 11 S11(t)= 3V t∈ µ ∈∈ s µ Mµ Se cere: η a) Să se calculeze entropia şi eficienţa sursei X; (H(X), η ηη X) • b) Debitul de informaţie al sursei X dacă codarea (4 1 2) se face în timp real; (X) c) Cantitatea de decizie corespunzătoare unui moment (moment = un semnal dintre S00, S0, S1 sau S11); (D) 10 • d) Debitul de momente; (M) e) Ce debit de informaţie (în biţi/sec) corespunde în acest caz unui Baud? (1Bd) f) Să se reprezinte grafic semnalul S(t): suport al informaţiei i0 Rezolvare: a) Probabilităţile de emisie (generare) a mesjelor binare 0 şi 1 fiind egale: p(0)=p(1)=1/2 (4 1 3) rezultă pentru entropie şi eficienţa sursei valorile: H(X)=1 bit/simbol =100% (4 1 4) η b) Prin definiţie: XH• () (4 1 5) X= xτ unde τ este timpul în care se transmite (generează) un simbol binar de către sursa X Ştiind că două x simboluri (un dibit) au o durată de transmitere, respectiv genereare (în timp real), de TM=250µs rezultă pentru τ valoarea: x 1 s125Tµ (4 1 6) =τ Mx= 2 şi ca atare: 1• bit/simbol 8X=(4 1 7) kbiti/sec = 125µ s 43 Canale c) Conform definiţiei: D=log2m=2 biţi (4 1 8) unde m=4 reprezintă numărul de nivele de tensiune corespunzătoare dibiţilor (relaţia (4 1 2)) • d) Debitul de momente M este numărul de semnale elementare (S00, S01, S10 sau S11) pe unitatea de timp: 11• 4000M=(4 1 9) Bd == 6− 10250TM⋅ • e) Cum debitul de informaţie este 8000X=biţi/sec, corespunde la viteza de modulaţie (debitul de • momente) Bd4000M=, rezultă pentru fiecare Baud câte 2 biţi de informaţie f) Secvenţa binară dată va avea suport fizic următoarea succesiune de semnale elementare: 100110001101001101010110SSSSSSSSSSSS (4 1 10) care formează semnalul: [V] S[t] 3 2 1 0t/TM 1 2 3 4 5 6 7 8 9 10 11 12 -1 -2 -3 4 2 Presupunând semnalul ternar din figură: [V] S[t] +1 t/5µs 0 2 4 6 8 10 12 14 -1 suportul fizic al unei informaţii, să se afle: • a) Viteza de modulaţie M (debitul de momente); 44 Canale b) Cantitatea de informaţie maximă ce se poate transmite printr-un simbol ternar; c) Debitul de informaţie ce rezultă dacă semnalul S(t) a fost obţinut prin modularea (codarea) unei secvenţe binare echiprobabile, în timp real, utilizând codul: ∈ 11 S+(t)= +1V t∈ ∈∈ ∈ 0 S0t)= 0V t∈ (4 2 1) ∈∈ ∈ 10 S-(t)= -1V t∈ ∈∈ d) Debitul maxim de informaţie ce poate fi obţinut printr-o codare adecvată utilizând : - un semnal ternar; - un semnal binar; - un semnal cuaternar În toate cazurile se va considera aceeaşi viteză de modulaţie Răspuns: 1• 55 a) 10M= simbol ternar / 10sec Baud == T M b) D=log23=1,585 (biţi) c) 1 ( ) () () ;1p1ppSp= ⋅== ++  4  111 ()() Sp= 12log4log2SH ernarbit/simb t +⋅=⇒ =  220⋅ 242  1 Sp= () −  4 • () 55SH biţi/sec =⋅ >B): 3⋅(4 7 2) =ξ=ξ dB B Cunoscând în fiecare caz banda disponibilă avem că: 6 10175⋅ T 1693553= dB ≅ξ 3dB 101,3⋅ 54 Canale 6 10175⋅ V 75,433= dB ≅ξ 6dB 1012⋅ O175,0O 129,012− dB9sau (4 7 3) ξ=−=ξ dB≅ Obs : Evident că un raport semnal-zgomot de 169355 dB este un răspuns non sens pentru practică 4 8 Reprezentaţi secvenţa de date prezentată în figura de mai jos, pe rând în codurile NRZ, RZ, AMI şi HDB3 Calculaţi componenta medie, în fiecare caz, luând valoarea vârf la vârf a semnalului A 1 1 0 0 0 0 0 1 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 1 1 Tb Răspuns: RZA AMI HDB3 NRZ Componentă medie: NRZ - 11/25 A RZ - 11/50 A AMI - O HDB3 - 1/50 A 4 9 Desenaţi semnalele de linie în cod HDB3 pentru următoarele secvenţe de date: a) 10100100000000011110; b) 00010010000100001001; c) 10000110000011000011; 55 Canale 4 10 Care va fi semnalul de linie (L) dacă la intrarea cifratorului din figură: C3C2C1 + i +L se aduce semnalul: i=11101000000110000111 1   0S Starea iniţială a RDR este = 0   0  Răspuns: 01010001011010101001 56 Cap 5 Teste grilă 5 1 Dacă p(A) este probabilitatea de realizare a mesajului A, atunci informaţia furnizată de producerea sa , i(A), este: 1 a) lnA; *b) –log2 p(A); c) p(A) ·log2; d) log2 p(A); e) p(A)·ln p(A) )(Ap 5 2 Entropia unei surse este: a) informaţia medie transmisă de sursă în unitatea de timp; b) informaţia instantanee transmisă de sursă; c) egală cu raportul dintre entropia maximă a sursei şi redundanţa sa; *d) egală cu produsul dintre entropia maximă şi eficienţa sursei; e) nici o variantă nu este corectă 5 3 Cantitatea de decizie a unei surse este: a) informaţia medie transmisă de sursă printr-un simbol al său, dacă sursa este echiprobabilă; *b) egală cu entropia maximă a sursei; c) egală cu produsul dintre entropia maximă şi eficienţa sursei; d) informaţia medie transmisă de sursă în unitatea de timp; e) nici o variantă nu e corectă 5 4 Care dintre scopurile de mai jos nu se realizează prin codare: a) adaptarea naturii diferite a sursei la natura canalului; *b) multiplexarea mai multor semnale purtătoare de informaţie în vederea transmiterii pe acelaşi canal; c) compresia sursei; d) protejarea informaţiei împotriva perturbaţiilor; e) protejarea informaţiei împotriva receptorilor neautorizaţi (secretizarea) 5 5 Care dintre mărimile de mai jos reprezintă criterii de fidelitate: 2 1) eroarea medie pătratică: ε =[])()(tytx−; 22 2) raportul semnal-zgomot: ξ = y(t)/u(t); 3) echivocaţia; a) doar 1) ; b) 1) şi 3) ; c) 2) şi 3) ; d) toate trei; *e) 1) şi 2) 5 6 Care dintre mărimile de mai jos reprezintă criterii de fidelitate: nm 1) eroarea medie H(Y/X) = - p(xi,yj)·log2p(yj/ xi); ∑∑ j1 i1= = 22 2) raportul semnal-zgomot: ξ=y(t)/u(t); 3) rata erorii (BER) a) doar 1) ; b) 1) şi 3) ; *c) 2) şi 3) ; d) toate trei; e) 1) şi 2) 575 7 O sursă discretă S este fără memorie dacă: *a) emisia unui simbol nu depinde de simbolurile anterior emise; b) probabilităţile diferitelor simboluri nu depind de originea timpului; c) generează simboluri la o indicaţie exterioară; d) generează simbolurile cu o viteză fixă; e) nici un răspuns nu este corect; 5 8 O sursă discretă este cu debit necontrolat dacă: a) emisia unui simbol nu depinde de simbolurile anterior emise; b) probabilităţile diferitelor simboluri nu depind de originea timpului; c) generează simboluri la o indicaţie exterioară; *d) generează simbolurile cu o viteză fixă; e) nici un răspuns nu este corect; n 5 9 O sursă discretă S este extensia unei surse de ordin n a sursei S dacă: a) emisia unui simbol nu depinde de simbolurile anterior emise; b) probabilităţile diferitelor simboluri nu depind de originea timpului; c) generează simboluri la o indicaţie exterioară; d) generează simbolurile cu o viteză fixă; *e) nici un răspuns nu este corect; 5 10 Informaţia obţinută în urma realizării evenimentului a, a cărui şanse de realizare sunt 100% este: *a) zero; b) un bit; c) un bit/simbol; d) strict pozitivă; e) nici un răspuns nu e corect 5 11 Relaţiile între unităţile de măsură a informaţiei sunt: a) 1nit<1bit<1dit; b) 1bit<1dit<1nit; c) 1dit<1nit<1bit; d) 1dit<1bit<1nit; *e) 1bit<1nit<1dit 5 12 Entropia unei surse de informaţie: a) reprezintă incertitudinea medie ce există apriori asupra emisiei; b) reprezintă informaţia medie purtată de un simbol al sursei; c) se calculează cu formula: N H(s)=p(si)·i(si), unde: si i=1 N, -simbolurile sursei; ∑ i1 = N -numărul de simboluri; i(si) -informaţia furnizată de simbolul si; p(si)-probabilitatea de emisie a lui si; *d) se măsoară în biţi/secundă; e) devine maximă dacă sursa este echiprobabilă Precizaţi răspunsul fals 585 13 O SDFM , S, cu 32 de simboluri are entropia egală cu a unei surse echiprobabilă cu 26 de simboluri Redundanţa sursei S este: *a) 0,3 bit/simbol; b) 0,3 bit/secundă; c) 4,7 bit/simbol; d) 4,7 bit/secundă; e) 6% 5 14 Precizaţi răspunsul fals Entropia unei SDFM este: a) dată prin formula: N H(S)=p(si)·log2p(si),unde: si i=1 N, -simbolurile sursei; ∑ i1 = N -numărul de simboluri; p(si) -probabilitatea de emisie a lui si; b) măsurată în biţi/simbol; *c) o funcţie continuă în raport cu fiecare variabilă si; d) o funcţie simetrică în raport cu toate variabilele p(si); e) aditivă 5 15 O sursă de informaţie are entropia numeric egală cu 3,7 iar redundanţa sursei este 5,3% Sursa are un număr de simboluri egale cu: a) 13; *b) 15; c) 16; d) 9; e) 4 5 16 Semnalele utilizate pentru transportul informaţiei numerice sunt compuse din suite de semnale elementare în timp, numite momente Numărul de momente transmise în unitatea de timp este: 1) debitul de momente; 2) viteza de modulaţie; 3) viteza telegrafică Răspunsurile corecte sunt: a) 1); b) 2); c) 3); d) nici unul; *e) toate trei 5 17 Precizaţi răspunsul fals Debitul de informaţie al unei surse de informaţie este: *a) măsurat în biţi/simbol; b) măsurat în biţi/secundă; c) cantitatea medie de informaţie generată de sursă în unitatea de timp; d) egal cu debitul de decizie, dacă sursa este echiprobabilă; e) mai mic decât capacitatea canalului, la transmisiile în timp real 5 18 Pentru un canal de transmisie discret, X={xi}i=1 n si Y={yj}j=1 m reprezintă câmpurile de la intrarea, respectiv ieşirea din canal Matricea de trecere P este o matrice având dimensiunile nxm şi conţine probabilităţi de forma: a) p(xi)·p(yj); b) p(xi, yj); c) p(xi/yj); *d) p(yj/xi,); e) nici un răspuns nu e corect 595 19 Un canal este binar simetric dacă: a) p(0E)=P(1E); b) p(0E/1R)=p(1E/0R); *c) p(0R/1E)=p(1R/0E); d) p(0R)=p(1R); e) nici o variantă nu e corectă 5 20 Un canal este binar simetric dacă: a) p(0E,0R)=p(0E,1R); b) p(0E/0R)=p(1E/1R); c) p(0R/1E)=p(1R/1E); d) p(0R)=p(1R); *e) nici o variantă nu e corectă 5 21 Mărimea H(y)-H(y/x) pentru un canal binar este: *a) transinformaţia doar dacă p(0R)=p(1R); b) capacitatea canalului doar dacă p(0R)=p(1R); c) subunitară; d) măsurată în biţi/simbol binar; e) egală cu H(x)-H(x/y) dacă p(0R)=p(1R); Precizaţi răspunsul fals 5 22 Mărimile mărginite superior de H(x) – entropia câmpului de la intrarea în canal, sunt: a) numai transinformaţia; b) eroarea medie şi transinformaţia; c) echivocaţia şi eroarea medie; *d) echivocaţia şi transinformaţia; e) echivocaţia, eroarea medie şi transinformaţia 5 23 Mărimile mărginite superior de H(Y) – entropia câmpului de la ieşirea din canal, sunt: a) numai transinformaţia; *b) eroarea medie şi transinformaţia; c) echivocaţia şi eroarea medie; d) echivocaţia si transinformaţia; e) echivocaţia, eroarea medie şi transinformaţia -2 5 24 Capacitatea canalului binar simetric având rata erorii BER=10 este: *a) 0,9192 biţi/simbol binar; b) 0,944 biţi/simbol binar; c) 0,944 biţi/secundă; d) 0,9756 biţi/secundă; e) 0,9192 biţi/secundă 605 25 O SDFM având tabelul: dcba    S=   25,02,04,0   emite câte un simbol la fiecare milisecundă Debitul sursei este: a) 1,9 kbiţi/simbol; b) 1,3 kbiţi/secundă; c) 573 biţi/secundă; *d) 1,9 kbiţi/secundă; e) 1,3 kbiţi/secundă 5 26 Care din expresiile de mai jos reprezintă capacitatea unui canal de transmisiune analogic (considerat ca un FTJ ideal având lărgimea de bandă B şi raportul semnal-zgomot ξ - zgomot gaussian) a) () B1logC+; ξ= 2⋅ 1logBC; *b) () ξ+⋅= 2 c) ()log1BC; ξ⋅+= 2 2 d) ()1logBC; ξ+⋅= 2 2 e) (1logBCξ; ) ⋅= 2+ 5 27 Fie S o sursă discretă cu memorie având graful din figura 1: S0 = 00 3/7 3/4 1/2 = 01S2 = 10S1 S3 = 11 2/5 Figura 1 Sursa are memorie de: a) un pas, deoarece orice tranziţie se face între starea actuală şi starea viitoare; b) doi paşi, deoarece orice tranziţie se face între două stări; *c) doi paşi, deoarece fiecare stare este numită prin doi paşi; d) doi paşi, deoarece din fiecare stare pleacă două ramuri; e) patru paşi, deoarece sunt patru stări 5 28 Fie S o sursă discretă cu memorie având graful din figura 1 Ce şanse sunt ca sursa S să emită un zero dacă secvenţa emisă până în prezent a fost: 10011? a) 25%; b) 30%; c) 40%; d) 50%; *e) 60%; 615 29 Sursa discretă cu memorie, S, al cărei graf este prezentat în figura 1, se găseşte în stare S2 Care este probabilitatea ca după emisia a trei simboluri sursa să se găsească în starea S1? a) 3,125%; b) 42,86%; c) 18,37%; *d) 21,5%; e) 46%; nnn 5 30 Fie S extensia sursei discrete şi fără memorie, S Entropia sursei S, notată H(S), se calculează funcţie de entropia sursei S, notată H(S), după relaţia: n *a) H(S)=nH(S); nn b) H(S)=(H(S)); n c) H(S)=H(S); n d) H(S)=H(S)⋅log2n; e) nici o variantă nu este corectă 5 31 Eficienţa unei surse discrete fără memorie, având 20 simboluri echiprobabile, ce s-a codat cu un cod binar bloc, este: 1 a) ;20log 2 5 *b) 100%; c) ;20log/5 2 d) ;20log/4 2 e) nici o variantă nu este corectă 5 32 O SFDM având 20 simboluri echiprobabile se codează binar bloc Eficienţa codării este: 1 *a) ;20log 2 5 b) 100%; c) ;20log/5 2 d) ;20log/4 2 e) nici o variantă nu este corectă 5 33 Teorema de existen ţă a codurilor instantanee se exprimă prin inegalitatea: M n− 1mi≤ ∑ 1i= (care reprezintă condiţia necesară şi suficientă de existenţă a codurilor instantanee) În relaţia de mai sus, se reprezintă numărul de simboluri: a) de control; b) de informaţia; c) ale sursei de informaţie; *d) ale alfabetului codului; e) nici o variantă nu este corectă 625 34 Teorema de existen ţă a codurilor instantanee se exprimă prin inegalitatea: M n− 1mi≤ ∑ 1i= (care reprezintă condiţia necesară şi suficientă de existenţă a codurilor instantanee) În relaţia de mai sus, M reprezintă numărul de simboluri: a) de control; b) de informaţia; *c) ale sursei de informaţie; d) ale alfabetului codului; e) nici o variantă nu este corectă 5 35 Teorema I-a a lui Shannon (teorema codării surselor pentru transmitere pe canale fără perturbaţii) a) afirmă că poate fi făcută o codare absolut optimală; *b) se adresează doar codării surselor cu probabilităţile simbolurilor de forma: n− mSpi∈ Nncu () ii= c) nu precizează procedee de codare; d) are în vedere o codare pe grupe de n simboluri a sursei, cu n→∞ e) este valabilă şi pentru coduri ternare Precizaţi răspunsul fals 5 36 Un cod absolut optimal: a) are eficienţă 100%; b) se poate obţine pentru surse la care probabilităţile simbolurilor sunt de forma n− mSpi∈; Nncu () ii= c) pentru o sursă oarecare este doar o limită teoretică; *d) nu poate fi obţinut, indiferent de sursă, printr-o codare simbol cu simbol; e) are lungimea medie a cuvintelor egală cu entropia sursei ce o codează Precizaţi răspunsul fals 5 37 Un cod optimal: a) Se poate obţine prin algoritmul Huffman static? b) are eficienţa subunitară; k c) este un cod bloc dacă N=2 - numărul de cuvinte de cod; k d) este un cod bloc dacă N=2 - numărul de simboluri ale sursei codate; *e) este neapărat un cod binar Precizaţi răspunsul fals 5 38 Algoritmul de codare Huffman static: *a) conduce la un cod absolut optimal, b) conduce la un cod de eficienţă maxim posibilă; c) presupune ordonare descrescătoare a simbolurilor sursei după probabilităţi; d) se poate aplica şi surselor echiprobabile; e) se poate aplica şi la coduri nebinare Precizaţi răspunsul fals 635 39 Algoritmii de compresie realizează micşorarea: a) cantităţii de informaţie conţinută într-un anumit mesaj; *b) spaţiului ocupat de un mesaj; c) debitului de informaţie la o transmisie; d) vitezei de transmitere a informaţiei; e) nici o variantă nu este corectă 5 40 Algoritmul de compresie Huffman dinamic: a) realizează o compresie superioară celui static; b) necesită cunoaşterea statisticii a sursei date; c) presupune modificarea codului după transmiterea fiecărui simbol; d) realizează o codare pe grupe de n simboluri, cu n→∞; *e) nici o variantă nu este corectă 5 41 Suma cifrelor mesajului VARZA, cifrat cu cifrul lui Polybius este: a) 20, b) 25; *c) 26; d) 28; e) nici un răspuns nu este corect 5 42 Suma cifrelor mesajului DOVLEAC cifrat cu cifrul lui Polybius este: a) 26; b) 28; c) 31; *d) 34; e) 39 5 43 Aflaţi răspunsul la întrebare descifrând mesajul EQDVYXLQ: °°°°° a) 1; b) 2; *c) 3; d) 4; e) 5; 5 44 Aflaţi răspunsul la întrebare descifrând mesajul DOGRLOHD: °°°°° a) 1; *b) 2; c) 3; d) 4; e) 5; 5 45 Aflaţi răspunsul la întrebare descifrând mesajul ECWE IK HACKKU: a) de la 1 la 6; b) de la 7 la 12; c) de la 13 la 18; d)de la 19 la 24; e)de la 25 la 31; 5 46 O sursă de informaţie discretă şi fără de memorie se codează cu un cod binar bloc de eficienţă maxim posibilă Cât trebuie să fie lungimea cuvintelor codului bloc dacă sursa are 15 simbolurilor? a) 3 biţi; *b) 4 biţi; c) 15 biţi; d) 16 biţi; e) nici o variantă nu este corectă 5 47 Codând prin algoritmul Huffman static o sursă de informaţie oarecare cu 15 simboluri, lungimea maximă a cuvintelor codului ar putea fi (se are în vedere toate sursele posibile cu 15 simboluri) a) 4 biţi; *b) 14 biţi; c) 15 biţi; d) 16 biţi; e) nici o variantă nu este corectă 5 48 Codând prin algoritmul Huffman static o sursă de informaţie oarecare cu 15 simboluri, lungimea cea mai mică dintre cuvintele codului ar putea fi (se are în vedere toate sursele posibile cu 15 simboluri) a) 4 biţi; b) 14 biţi; c) 3 biţi; d) 2 biţi; *e) 1 bit 645 49 Sursa de informaţie text TEORIA TRANSMITERII INFORMATIEI se codează binar bloc Lungimea medie a cuvintelor codului este: a) 3,1 biţi/secundă; b) 2,15 biţi/secundă; c) 4 biţi/secundă; d) 10 biţi/secundă; *e) nici o variantă nu este corectă 5 50 Sursa de informaţie text TEORIA TRANSMITERII INFORMATIEI se codează cu un cod de eficienţă maxim posibilă (codare simbol cu simbol ) Lungimea medie a cuvintelor codului este: *a) 3,1 biţi/simbol; b) 2,15 biţi/simbol; c) 4 biţi/simbol; d) 10 biţi/simbol; e) nici o variantă nu este corectă 65